ゲップが出ないときでも授乳後すぐにおひなまきを巻いてもいいですか?

問題ありません。

ただし、巻いた後にゲップが出る、または吐き戻す可能性もあるため、横向きに寝かせてあげましょう。